|
|
STATISTICAL LANGUAGE MODELS BASED ON NEURAL NETWORKS
Mikolov, Tomáš ; Zweig, Geoffrey (oponent) ; Hajič,, Jan (oponent) ; Černocký, Jan (vedoucí práce)
Statistical language models are crucial part of many successful applications, such as automatic speech recognition and statistical machine translation (for example well-known Google Translate). Traditional techniques for estimating these models are based on Ngram counts. Despite known weaknesses of N-grams and huge efforts of research communities across many fields (speech recognition, machine translation, neuroscience, artificial intelligence, natural language processing, data compression, psychology etc.), N-grams remained basically the state-of-the-art. The goal of this thesis is to present various architectures of language models that are based on artificial neural networks. Although these models are computationally more expensive than N-gram models, with the presented techniques it is possible to apply them to state-of-the-art systems efficiently. Achieved reductions of word error rate of speech recognition systems are up to 20%, against stateof-the-art N-gram model. The presented recurrent neural network based model achieves the best published performance on well-known Penn Treebank setup.
|
|
|
Zpracování uživatelských recenzí
Cihlářová, Dita ; Burget, Radek (oponent) ; Bartík, Vladimír (vedoucí práce)
Velmi často lidé nakupují na internetu zboží, které si nemohou prohlédnout a vyzkoušet. Spoléhají se tedy na recenze ostatních zákazníků, ale těch už může být v dnešní době příliš mnoho na to, aby je člověk mohl sám rychle a pohodlně zpracovat. Cílem této práce je nabídnout aplikaci, která dokáže v českých recenzích rozpoznat, jaké vlastnosti produktu jsou nejvíce komentované a zda je vyznění komentářů pozitivní či negativní. Výsledky pak mohou ušetřit velké množství času zákazníkům e-shopů a poskytnout zajímavou zpětnou vazbu výrobcům prodávaných produktů.
|
|
|
Jazykové modelování pro němčinu
Tlustý, Marek ; Bojar, Ondřej (vedoucí práce) ; Hana, Jiří (oponent)
Práce se zabývá jazykovým modelováním pro němčinu. Soustředí se na specifika německé gramatiky, která činí běžným n-gramovým modelům problémy. Nejprve popisuje statistické metody jazykového modelování a vysvětluje problematické jevy němčiny. Následně navrhuje vlastní varianty n-gramových jazykových modelů s cílem tyto problémy zlepšit. Vlastní modely jsou trénovány jednak jako standardní n-gramové, a jednak také metodou maximální entropie s n-gramovými rysy. Oba typy jsou vždy porovnány z hlediska korelace ručně hodnocené plynulosti vět a automatického hodnocení - perplexity. Srovnány jsou zároveň výpočetní nároky. Dále je navrhnuta množina vlastních rysů reprezentující počet gramatických chyb vybraných jevů. Úspěšnost se ověřuje na schopnosti predikovat ručně hodnocenou plynulost. Využito je modelů maximální entropie a vlastních modelů klasifikujících jen na základě mediánů hodnot rysů vypočtených z trénovacích dat.
|
|
|
Rychlý a trénovatelný tokenizér pro přirozené jazyky
Maršík, Jiří ; Bojar, Ondřej (vedoucí práce) ; Spousta, Miroslav (oponent)
V této práci představujeme systém pro dezambiguaci hranic mezi tokeny a větami. Charakteristickým znakem programu je jeho značná konfigurovatelnost a všestrannost, tokenizér si dokáže poradit např. i s nepřerušovaným čínským textem. Tokenizér používá klasifikátory založené na modelech s maximální entropií, a jedná se tudíž o systém strojového učení, kterému je nutné předložit již tokenizovaná ukázková data k trénování. Program je doplněn nástrojem pro hlášení úspěšnosti tokenizace, což pomáhá zejména při rychlém vývoji a ladění tokenizačního procesu. Systém byl vyvinut pouze za pomoci multiplatformních knihoven a při vývoji byl kladen důraz zejména na efektivitu a správnost. Po nezbytném přehledu jiných tokenizérů a krátkém úvodu do teorie modelů s maximální entropií se většina textu práce zabývá vlastní implementací tokenizéru a vyhodnocením jeho úspěšnosti.
|
|
|
Zpracování uživatelských recenzí
Cihlářová, Dita ; Burget, Radek (oponent) ; Bartík, Vladimír (vedoucí práce)
Velmi často lidé nakupují na internetu zboží, které si nemohou prohlédnout a vyzkoušet. Spoléhají se tedy na recenze ostatních zákazníků, ale těch už může být v dnešní době příliš mnoho na to, aby je člověk mohl sám rychle a pohodlně zpracovat. Cílem této práce je nabídnout aplikaci, která dokáže v českých recenzích rozpoznat, jaké vlastnosti produktu jsou nejvíce komentované a zda je vyznění komentářů pozitivní či negativní. Výsledky pak mohou ušetřit velké množství času zákazníkům e-shopů a poskytnout zajímavou zpětnou vazbu výrobcům prodávaných produktů.
|
|
|
Probability density determination by means of Gibbs entropy probability density
Náprstek, Jiří ; Fischer, Cyril
A method of random response investigation of a nonlinear dynam-ical system is discussed. In particular, the solution of the probability density of a single/multi-degree of freedom (SDOF/MDOF) system response is investigated. Multiple stable equilibrium states with possible jumps of the snap-through type among them are considered. The system is Hamiltonian with weak damping excited by a set of non-stationary Gaussian white noises. The solution, which is based on the Gibbs principle of the maximum entropy of probability, can be employed in various branches of engineering. The search for the extreme of the Gibbs entropy functional is formulated as a constrained optimization problem. The secondary constraints follow from the Fokker-Planck equation (FPE) for the system considered or from the system of ordinary di_erential equations for the stochastic moments of the response derived from the relevant FPE
|
|
|
Jazykové modelování pro němčinu
Tlustý, Marek ; Bojar, Ondřej (vedoucí práce) ; Hana, Jiří (oponent)
Práce se zabývá jazykovým modelováním pro němčinu. Soustředí se na specifika německé gramatiky, která činí běžným n-gramovým modelům problémy. Nejprve popisuje statistické metody jazykového modelování a vysvětluje problematické jevy němčiny. Následně navrhuje vlastní varianty n-gramových jazykových modelů s cílem tyto problémy zlepšit. Vlastní modely jsou trénovány jednak jako standardní n-gramové, a jednak také metodou maximální entropie s n-gramovými rysy. Oba typy jsou vždy porovnány z hlediska korelace ručně hodnocené plynulosti vět a automatického hodnocení - perplexity. Srovnány jsou zároveň výpočetní nároky. Dále je navrhnuta množina vlastních rysů reprezentující počet gramatických chyb vybraných jevů. Úspěšnost se ověřuje na schopnosti predikovat ručně hodnocenou plynulost. Využito je modelů maximální entropie a vlastních modelů klasifikujících jen na základě mediánů hodnot rysů vypočtených z trénovacích dat.
|
|
|
Rychlý a trénovatelný tokenizér pro přirozené jazyky
Maršík, Jiří ; Bojar, Ondřej (vedoucí práce) ; Spousta, Miroslav (oponent)
V této práci představujeme systém pro dezambiguaci hranic mezi tokeny a větami. Charakteristickým znakem programu je jeho značná konfigurovatelnost a všestrannost, tokenizér si dokáže poradit např. i s nepřerušovaným čínským textem. Tokenizér používá klasifikátory založené na modelech s maximální entropií, a jedná se tudíž o systém strojového učení, kterému je nutné předložit již tokenizovaná ukázková data k trénování. Program je doplněn nástrojem pro hlášení úspěšnosti tokenizace, což pomáhá zejména při rychlém vývoji a ladění tokenizačního procesu. Systém byl vyvinut pouze za pomoci multiplatformních knihoven a při vývoji byl kladen důraz zejména na efektivitu a správnost. Po nezbytném přehledu jiných tokenizérů a krátkém úvodu do teorie modelů s maximální entropií se většina textu práce zabývá vlastní implementací tokenizéru a vyhodnocením jeho úspěšnosti.
|
|
|
STATISTICAL LANGUAGE MODELS BASED ON NEURAL NETWORKS
Mikolov, Tomáš ; Zweig, Geoffrey (oponent) ; Hajič,, Jan (oponent) ; Černocký, Jan (vedoucí práce)
Statistical language models are crucial part of many successful applications, such as automatic speech recognition and statistical machine translation (for example well-known Google Translate). Traditional techniques for estimating these models are based on Ngram counts. Despite known weaknesses of N-grams and huge efforts of research communities across many fields (speech recognition, machine translation, neuroscience, artificial intelligence, natural language processing, data compression, psychology etc.), N-grams remained basically the state-of-the-art. The goal of this thesis is to present various architectures of language models that are based on artificial neural networks. Although these models are computationally more expensive than N-gram models, with the presented techniques it is possible to apply them to state-of-the-art systems efficiently. Achieved reductions of word error rate of speech recognition systems are up to 20%, against stateof-the-art N-gram model. The presented recurrent neural network based model achieves the best published performance on well-known Penn Treebank setup.
|
|
|
Sentiment analýza na sociálních sítích
Zaplatílek, Jan ; Jelínek, Ivan (vedoucí práce) ; Bruckner, Tomáš (oponent)
Práce se zabývá problematikou sentiment analýzy, především jejím využitím na sociálních sítích, jejímž cílem je určení zda posuzovaný dokument vyjadřuje nějaký sentiment a pokud ano, rozhodnout zda je pozitivní či negativní. Hlavním důvodem pro provádění sentiment analýzy na sociálních sítích je zjištění reputace a nálady určité firmy nebo značky. Takto získané informace mohou být dále použity např. pro vylepšení marketingu nebo komunikace se zákazníkem. Tato práce se zabývá sentiment analýzou na příspěvcích pocházejících z veřejných facebookových profilů několika českých bankovních institucí a telefonních operátorů. Cílem práce je vytvořit model, jehož úspěšnost v hodnocení sentimentu těchto příspěvků dosahuje alespoň 80%. Metodou dosažení tohoto cíle je provedení experimentu. První část práce představuje teoretickou část, jsou zde vymezeny základní pojmy a principy sentiment analýzy a její problémy a možnosti využití. Další část představuje rešerše metod sentiment analýzy a dat, která jsou zpracovávána v zahraničních pracích. Konečně poslední část popisuje samotný experiment. Činnosti, které mu předcházely a jeho výsledky. Hlavním přínosem práce je vytvoření modelu, který bude moci být následně používán v praxi.
|
host ::
RSS.